<!DOCTYPE html>
<html lang="en">
<head>
	<meta charset="UTF-8">
	<meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1">
	<title>被破坏的相关度！ | Elasticsearch: 权威指南 | Elastic</title>
    <!-- Give IE8 a fighting chance -->
    <!--[if lt IE 9]>
    <script src="https://oss.maxcdn.com/html5shiv/3.7.2/html5shiv.min.js"></script>
    <script src="https://oss.maxcdn.com/respond/1.4.2/respond.min.js"></script>
    <![endif]-->
	<link rel="stylesheet" type="text/css" href="../static/styles.css" />
</head>
<body>
<div class="main-container">
    <section id="content">
        
        <div class="content-wrapper">
            <section id="guide" lang="zh_cn">
                <div class="container">
                    <div class="row">
                        <div class="col-xs-12 col-sm-8 col-md-8 guide-section">
                            <div style="color:gray; word-break: break-all; font-size:12px;">原文地址: <a href="https://www.elastic.co/guide/cn/elasticsearch/guide/current/relevance-is-broken.html" rel="nofollow">https://www.elastic.co/guide/cn/elasticsearch/guide/current/relevance-is-broken.html</a>, 版权归 www.elastic.co 所有<br/>
                            英文版地址: <a href="https://www.elastic.co/guide/en/elasticsearch/guide/current/relevance-is-broken.html" rel="nofollow">https://www.elastic.co/guide/en/elasticsearch/guide/current/relevance-is-broken.html</a>
                            </div>
                        <!-- start body -->
                  <div class="page_header">
<b>请注意:</b><br>本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
</div>
<div id="content">
<div class="breadcrumbs">
<span class="breadcrumb-link"><a href="index.html">Elasticsearch: 权威指南</a></span>
»
<span class="breadcrumb-link"><a href="search-in-depth.html">深入搜索</a></span>
»
<span class="breadcrumb-link"><a href="full-text-search.html">全文搜索</a></span>
»
<span class="breadcrumb-node">被破坏的相关度！</span>
</div>
<div class="navheader">
<span class="prev">
<a href="_controlling_analysis.html">« 控制分析</a>
</span>
<span class="next">
<a href="multi-field-search.html">多字段搜索 »</a>
</span>
</div>
<div class="section">
<div class="titlepage"><div><div>
<h2 class="title">
<a id="relevance-is-broken"></a>被破坏的相关度！<a class="edit_me edit_me_private" rel="nofollow" title="Editing on GitHub is available to Elastic" href="https://github.com/elasticsearch-cn/elasticsearch-definitive-guide/edit/cn/100_Full_Text_Search/35_Relevance_is_broken.asciidoc">edit</a>
</h2>
</div></div></div>
<p>在讨论更复杂的 <a class="xref" href="multi-field-search.html" title="多字段搜索">多字段搜索</a> 之前，让我们先快速解释一下为什么只在主分片上 <a class="xref" href="match-query.html#match-test-data" title="索引一些数据">创建测试索引</a> 。</p>
<p>用户会时不时的抱怨无法按相关度排序并提供简短的重现步骤：用户索引了一些文档，运行一个简单的查询，然后发现明显低相关度的结果出现在高相关度结果之上。</p>
<p>为了理解为什么会这样，可以设想，我们在两个主分片上创建了索引和总共 10 个文档，其中 6 个文档有单词 <code class="literal">foo</code> 。可能是分片 1 有其中 3 个 <code class="literal">foo</code> 文档，而分片 2 有其中另外 3 个文档，换句话说，所有文档是均匀分布存储的。</p>
<p>在 <a class="xref" href="relevance-intro.html" title="什么是相关性?">什么是相关度？</a>中，我们描述了 Elasticsearch 默认使用的相似度算法，这个算法叫做 <em>词频/逆向文档频率</em> 或 TF/IDF 。词频是计算某个词在当前被查询文档里某个字段中出现的频率，出现的频率越高，文档越相关。 <em>逆向文档频率</em> 将 <em>某个词在索引内所有文档出现的百分数</em> 考虑在内，出现的频率越高，它的权重就越低。</p>
<p>但是由于性能原因， Elasticsearch 不会计算索引内所有文档的 IDF 。相反，每个分片会根据 <em>该分片</em> 内的所有文档计算一个本地 IDF 。</p>
<p>因为文档是均匀分布存储的，两个分片的 IDF 是相同的。相反，设想如果有 5 个 <code class="literal">foo</code> 文档存于分片 1 ，而第 6 个文档存于分片 2 ，在这种场景下， <code class="literal">foo</code> 在一个分片里非常普通（所以不那么重要），但是在另一个分片里非常出现很少（所以会显得更重要）。这些 IDF 之间的差异会导致不正确的结果。</p>
<p>在实际应用中，这并不是一个问题，本地和全局的 IDF 的差异会随着索引里文档数的增多渐渐消失，在真实世界的数据量下，局部的 IDF 会被迅速均化，所以上述问题并不是相关度被破坏所导致的，而是由于数据太少。</p>
<p>为了测试，我们可以通过两种方式解决这个问题。第一种是只在主分片上创建索引，正如 <a class="xref" href="match-query.html" title="匹配查询"><code class="literal">match</code> 查询</a> 里介绍的那样，如果只有一个分片，那么本地的 IDF <em>就是</em> 全局的 IDF。</p>
<p>第二个方式就是在搜索请求后添加 <code class="literal">?search_type=dfs_query_then_fetch</code> ， <code class="literal">dfs</code> 是指 <em>分布式频率搜索（Distributed Frequency Search）</em> ， 它告诉 Elasticsearch ，先分别获得每个分片本地的 IDF ，然后根据结果再计算整个索引的全局 IDF 。</p>
<div class="tip admon">
<div class="icon"></div>
<div class="admon_content">
<p>不要在生产环境上使用 <code class="literal">dfs_query_then_fetch</code> 。完全没有必要。只要有足够的数据就能保证词频是均匀分布的。没有理由给每个查询额外加上 DFS 这步。</p>
</div>
</div>
</div>
<div class="navfooter">
<span class="prev">
<a href="_controlling_analysis.html">« 控制分析</a>
</span>
<span class="next">
<a href="multi-field-search.html">多字段搜索 »</a>
</span>
</div>
</div>

                  <!-- end body -->
                        </div>
                        <div class="col-xs-12 col-sm-4 col-md-4" id="right_col">
                        
                        </div>
                    </div>
                </div>
            </section>
        </div>
    </section>
</div>
<script src="../static/cn.js"></script>
</body>
</html>